Delta Attention Residuals
Delta 注意力残差：用层间变化替代累积状态提升路由选择性
🧭 Delta 注意力残差路由
Independent Researcher · University of Wisconsin–Madison
用子层输出的变化量（delta）替代累积隐藏状态进行注意力路由，缓解深层冗余与路由塌缩
📌 工作参考价值（4 点）
- 推荐模型中的跨层特征融合：借鉴 delta 残差机制，在深度兴趣网络等模型中，将各层输出的变动量作为注意力汇聚的对象，避免相邻层特征高度冗余，提升高阶交互的区分度。
- 多智能体通信路由优化：当多个 Agent 间传递信息时，不直接传递当前状态，而传递相对于上一轮的变化量（delta），可使路由注意力更聚焦于新颖信息，降低通信带宽并提升协作效率。
- 预训练模型微调策略：可将现有 Transformer 模型的固定残差连接替换为 Delta 注意力残差后，仅通过少量微调就能继承预训练知识并获得困惑度收益，适合业务场景中低成本架构升级。
- 大规模模型训练稳定性：Delta 残差天然具有更高对比度的注意力分布，能缓解深层网络中的路由塌缩，在训练 recommender 的深层 Transformer 时可直接采用该连接方式以提升训练稳定性和最终效果。